tokenize document

Translations
разбить документ на токены
The function can tokenize documents to simplify search operations.
Функция может разбивать документы на токены для упрощения поисковых операций.